Mùa thu năm 1984, Chernenko phải vào bệnh viện trong hơn một tháng, nhưng vẫn làm việc bằng cách gửi thư và ý kiến tới Bộ chính trị. Trong mùa hè, các bác sĩ gửi ông tới Kislovodsk nơi có các suối nước khoáng, nhưng vào ngày ông tới khu nghỉ sức khoẻ của Chernenko xấu đi rõ rệt, và ông bị viêm phổi. Chernenko mãi tới cuối mùa thu năm 1984 mới quay trở về Kremlin. Ông trao huân chương cho các nhà du hành vũ trụ và các tác gia trong văn phòng của mình, nhưng không thể đi qua các hành lăng văn phòng và phải ngồi trong một chiếc xe lăn.

Tới cuối năm 1984, Chernenko không thể rời Bệnh viện Trung tâm, một cơ sở được canh gác cẩn mật ở tây Moskva, và Bộ chính trị gắn một chữ ký của fax của ông vào mọi bức thư, như Chernenko đã làm với Andropov khi ông sắp mất. Trong cái được đa số mọi người coi là[cần dẫn nguồn], thậm chí cả các đối thủ của ông, một hành động độc ác chống lại Chernenko, thành viên Bộ chính trị Viktor Grishin đã lôi Chernenko đang ốm nặng từ giường bệnh tới một phòng bỏ phiếu trong một cuộc bầu cử đầu năm 1985[cần dẫn nguồn].

Khí thủng của hai lá phổi và lá phổi đã bị hư hại nặng cùng tình trạng tim trở nên xấu đi đặc biệt nhanh trong ba tuần cuối cùng của tháng 2 năm 1985. Một chứng bệnh khác, bệnh viêm gan mãn tính, hay hỏng gan, phát triển và nó chuyển thành xơ gan. Chứng bệnh này và những thay đổi loạn dưỡng trong các cơ quan và tế bào khiến sức khoẻ của ông ngày càng kém đi. Lúc 3:00 giờ chiều ngày 10 tháng 3 ông rơi vào một cơn hôn mê, và lúc 7:20 chiều ông mất vì suy tim. Ông trở thành lãnh đạo thứ ba của Liên Xô qua đời chỉ trong hai năm, và ngay khi được thông báo vào lúc nửa đêm về cái chết của ông, Tổng thống Hoa Kỳ Ronald Reagan được thông báo đã nói "làm sao tôi có thể có bất kỳ mối quan hệ nào với người Nga nếu họ cứ tiếp tục chết đi như vậy?"[1]

Ông được chôn cất với tang lễ cấp nhà nước và được chôn tại nghĩa trang Kremlin.

Dấu ấn của Chernenko—hay sự vắng mặt của nó—là rõ ràng trong cách miêu tả cái chết của ông trên báo chí Liên Xô. Các tờ báo Liên Xô tường thuật những câu chuyện về cái chết của ông và việc lựa chọn Gorbachev trong cùng một ngày. Các tờ báo đều có một khuôn mẫu chung: trang một thông báo phiên họp toàn thể của Uỷ ban Trung ương ngày 11 tháng 3 bầu Gorbachev và in tiểu sử vị lãnh đạo mới cùng một bức ảnh lớn của ông; trang 2 thông báo cái chết của Chernenko và thông cáo chính thức.

Sau cái chết của một lãnh đạo Liên Xô những người kế tục ông theo phong tục phải mở két của người tiền nhiệm và xem xét bên trong đó. Khi Gorbachev mở két của Chernenko, trong đó có một cặp file nhỏ gồm các giấy tờ cá nhân và nhiều tập tiền lớn, tiền cũng được tìm thấy trong ngăn bàn ông[cần dẫn nguồn].Chernenko được tặng thưởng Huân chương Lao động Cờ đỏ; 1976, năm 1981 và năm 1984 ông được tặng Anh hùng Lao động Xã hội chủ nghĩa: trong dịp này, Bộ trưởng quốc phòng Ustinov đã coi vai trò của ông như một "nhân vật chính trị kiệt xuất, người kế tục và trung thành với lý tưởng của Lenin vĩ đại"; năm 1981 ông được tặng thưởng huân chương cao quý nhất của Bulgaria và vào năm 1982 ông được nhận Giải thưởng Lenin vì đóng góp vào "Nhân quyền trong Xã hội Xô viết" của ông.

Trong cuộc hôn nhân đầu tiên ông có một con trai, Albert, người sau này nổi tiếng ở Liên Xô với tư cách một nhà lý thuyết pháp luật. Người vợ thứ hai của ông, Anna Dmitrevna Lyubimova (sinh năm 1913), lấy ông năm 1944, sinh cho ông hai con gái, Yelena (làm việc trong Viện lịch sử Đảng), Vera (làm việc tại Đại sứ quán Liên Xô ở Washington, DC tại Hoa Kỳ), và một con trai, Vladimir, là một biên tập viên của Goskino.

Ông có một Gosdacha tại Troitse-Lykovo được đặt tên là Sosnovka-3 bên dòng sông Moskva với một bãi tắm riêng, còn Sosnovka-1 là của Mikhail Suslov.